CtrlMouse et TouchCtrl : Dupliquer les Délimiteurs de Mode sur la Souris

National audienceModifier keys of the keyboard such as Ctrl or Cmd are used to delimit text entry and command selection (keyboard shortcuts). In this paper we study the impact of the position of these modifier keys on performance and muscular load by duplicating them on the mouse. We derive two interaction techniques: CtrlMouse duplicates the Ctrl and Shift keys by associating them to the mouse buttons under the thumb; TouchCtrl automatically triggers the Ctrl key when the hand lays on the mouse. Two laboratory experiments reveal that 1) as the task requires more pointing, participants use more these techniques, 2) the temporal cost of the use of modifier keys on command selection is 0.21s, which represents 11.9% of pointing time, and 3) selection time with CtrlMouse with one or two modifiers is similar. We also deployed these techniques to ecologically validate the results we obtained in the laboratory. Finally we present several application scenarios based on CtrlMouse and TouchCtrl.Les touches modifieur du clavier comme Ctrl ou Cmd sont utilisées pour délimiter l'entrée de texte de la sélection de commandes (raccourcis claviers). \ \ Dans cet article nous étudions l'impact de la localisation de ces délimiteurs sur la performance et la charge musculaire en les dupliquant sur la souris. À cet effet, nous dérivons deux techniques d'interaction : CtrlMouse duplique les touches Ctrl et Shift en les associant aux boutons de la souris sous le pouce; TouchCtrl déclenche automatiquement la touche Ctrl lorsque la main est posée sur la souris. Deux expériences en laboratoire révèlent 1) que ces techniques sont d'autant plus adoptées par les utilisateurs que la tâche demande du pointage, 2) le coût temporel des modifieurs sur la sélection de commandes est de 0,21s, ce qui correspond à 11,9% du temps de pointage et 3) le temps de sélection avec CtrlMouse avec un ou deux modifieurs est similaire. Nous avons également déployé ces techniques pour valider de manière écologique les résultats obtenus lors des évaluations en laboratoire. Enfin, nous présentons différents scénarios applicatifs élaborés à partir de CtrlMouse et TouchCtrl

Étude et tests d'une application haptique multimodale pour enfants déficients visuels

National audienceDe nouvelles technologies permettent de proposer de nouvelles interactions, notamment pour les personnes en situation de handicap. Ce papier présente le projet Européen MICOLE dont le but est de fournir une API de développement d'applications multimodales et multi-utilisateurs pour déficients visuels. Dans cette API, de nouvelles techniques d'interactions basées sur le retour haptique telles que les tactons ou les PICOB sont proposées. Nous montrons ensuite une application permettant d'explorer des schémas de circuits électriques construite à partir de cette API et utilisant le PHANToM et la souris VTPlayer. Enfin, nous présentons les résultats d'une première expérimentation de cette application avec 13 enfants déficients visuels

What do U-Note? An Augmented Note Taking System for the Classroom

International audienceWe present U-Note, a new system that helps children to study their lessons. It links a paper notebook and digital doc- uments in order to reconstruct the context of the class. This system makes it possible for students to browse the teacher's documents at the state it was when he wrote the words he is currently reading. The student can also add information he found on internet. We first discuss the interviews we had with teachers, that led to the design of the system. Then we describe the system itself, which consists of a capture sys- tem, and a browsing application

On the critical role of the sensorimotor loop on the design of interaction techniques and interactive devices

People interact with their environment thanks to their perceptual and motor skills. This is the way they both use objects around them and perceive the world around them. Interactive systems are examples of such objects. Therefore to design such objects, we must understand how people perceive them and manipulate them. For example, haptics is both related to the human sense of touch and what I call the motor ability. I address a number of research questions related to the design and implementation of haptic, gestural, and touch interfaces and present examples of contributions on these topics. More interestingly, perception, cognition, and action are not separated processes, but an integrated combination of them called the sensorimotor loop. Interactive systems follow the same overall scheme, with differences that make the complementarity of humans and machines. The interaction phenomenon is a set of connections between human sensorimotor loops, and interactive systems execution loops. It connects inputs with outputs, users and systems, and the physical world with cognition and computing in what I call the Human-System loop. This model provides a complete overview of the interaction phenomenon. It helps to identify the limiting factors of interaction that we can address to improve the design of interaction techniques and interactive devices.Les humains interagissent avec leur environnement grâce à leurs capacités perceptives et motrices. C'est ainsi qu'ils utilisent les objets qui les entourent et perçoivent le monde autour d'eux. Les systèmes interactifs sont des exemples de tels objets. Par conséquent, pour concevoir de tels objets, nous devons comprendre comment les gens les perçoivent et les manipulent. Par exemple, l'haptique est à la fois liée au sens du toucher et à ce que j'appelle la capacité motrice. J'aborde un certain nombre de questions de recherche liées à la conception et à la mise en œuvre d'interfaces haptiques, gestuelles et tactiles et je présente des exemples de contributions sur ces sujets. Plus intéressant encore, la perception, la cognition et l'action ne sont pas des processus séparés, mais une combinaison intégrée d'entre eux appelée la boucle sensorimotrice. Les systèmes interactifs suivent le même schéma global, avec des différences qui forme la complémentarité des humains et des machines. Le phénomène d'interaction est un ensemble de connexions entre les boucles sensorimotrices humaines et les boucles d'exécution des systèmes interactifs. Il relie les entrées aux sorties, les utilisateurs aux systèmes, et le monde physique à la cognition et au calcul dans ce que j'appelle la boucle Humain-Système. Ce modèle fournit un aperçu complet du phénomène d'interaction. Il permet d'identifier les facteurs limitatifs de l'interaction que nous pouvons aborder pour améliorer la conception des techniques d'interaction et des dispositifs interactifs

Designing Vibrotactile Widgets with Printed Actuators and Sensors

Physical controls are fabricated through complicated assembly of parts requiring expensive machinery and are prone to mechanical wear. One solution is to embed controls directly in interactive surfaces, but the proprioceptive part of gestural interaction that makes physical controls discoverable and usable solely by hand gestures is lost and has to be compensated, by vibrotactile feedback for instance. Vibrotactile actuators face the same aforementioned issues as for physical controls. We propose printed vibrotactile actuators and sensors. They are printed on plastic sheets, with piezoelectric ink for actuation, and with silver ink for conductive elements, such as wires and capacitive sensors. These printed actuators and sensors make it possible to design vibrotactile widgets on curved surfaces, without complicated mechanical assembly

Haptic and audio interaction design

International audienceHaptics, audio and human-computer interaction are three scientific disciplines that share interests, issues and methodologies. Despite these common points, interaction between these communities are sparse, because each of them have their own publication venues, meeting places, etc. A venue to foster interaction between these three communities was created in 2006, the Haptic and Audio Interaction Design workshop (HAID), aiming to provide a meeting place for researchers in these areas. HAID was carried out yearly from 2006 to 2013, then discontinued. Having worked in the intersection of these areas for several years, we felt the need to revive this event and decided to organize a HAID edition in 2019 in Lille, France. HAID 2019 was attended by more than 100 university, industry and artistic researchers and practitioners, showing the continued interest for such a unique venue. This special issue gathers extended versions of a selection of papers presented at the 2019 workshop. These papers focus on several directions of research on haptics, audio and HCI, including perceptual studies and the design, evaluation and use of vibrotactile and force-feedback devices in audio, musical and game applications

A three-step interaction pattern for improving discoverability in finger identification techniques

Publié dans : UIST'14 Adjunct Proceedings of the adjunct publication of the 27th annual ACM symposium on User interface software and technologyInternational audienceIdentifying which fingers are in contact with a multi-touch surface provides a very large input space that can be leveraged for command selection. However, the numerous possibilities enabled by such vast space come at the cost of discoverability. To alleviate this problem, we introduce a three-step interaction pattern inspired by hotkeys that also supports feedforward. We illustrate this interaction with three applications allowing us to explore and adapt it in different context

Amélioration du Raycasting par utilisation de la sélection par proximité et du filtrage

Special issue : the best of IHM'2018International audienceRaycasting is the most common target pointing technique in virtual reality environments. However, performance on small and distant targets is impacted by the accuracy of the pointing device and the user's motor skills. Current pointing facilitation techniques are currently only applied in the context of the virtual hand, i.e. for targets within reach. We propose enhancements to Raycasting : filtering the ray, and adding a controllable cursor on the ray to select the nearest target. We describe a series of studies for the design of the visual feedforward, filtering technique, as well as a comparative study between different 3D pointing techniques. Our results show that highlighting the nearest target is one of the most efficient visual feedforward technique. We also show that filtering the ray reduces error rate in a drastic way. Finally we show the benefits of RayCursor compared to Raycasting and another technique from the literature.Raycasting est la technique de pointage de cible la plus courante dans les environnements de réalité virtuelle. Cependant, sa performance sur des cibles à la fois petites et distantes est affectée par la précision du dispositif de pointage et les capa-cités motrices de l'utilisateur. Les techniques actuelles de facilitation du pointage ne sont actuellement appliquées que dans le contexte de la main virtuelle, c'est-à-dire pour les cibles à portée de main. Nous proposons des améliorations au Raycasting : le fil-trage du rayon, et l'ajout d'un curseur contrôlable sur celui-ci pour sélectionner la cible la plus proche. Nous décrivons une série d'études pour la conception d'aides visuelles, la technique de filtrage, ainsi qu'une étude comparative entre différentes techniques de pointage 3D. Nos résultats montrent que la mise en évidence de la cible la plus proche est l'une des techniques les plus efficaces de rétroaction visuelle. Nous montrons éga-lement que le filtrage du rayon réduit le taux d'erreur de manière drastique. Enfin, nous montrons les avantages de RayCursor par rapport à Raycasting et à une autre technique de la littérature

Actuated Peripherals as Tangibles in Desktop Interaction

International audienceTUIs use everyday physical objects to interact with digital information. With decades of usage, computer peripherals became everyday physical objects. We observed that users manipulate them for other purpose than input and output devices. For example users turn their screen to avoid sun reflections , or move their keyboard ans mouse because they need space on their desk. In this work we see computer peripher-als as everyday objects, and use them as TUIs. This paper presents two levels of tangible interaction with desktop computers: the first one is a keyboard with actuated keys. The keys can raise from their initial position, which can be used to represent interaction or extend interaction with keyboards. On the second level we actuated a mouse, a keyboard and a screen so that they can move around on the desk. We present scenarios showing how it extends interaction with a desktop computer setup

Outil de sélection de texte manuscrit sur des documents numérisés

National audienceLes logiciels d'édition d'images existent depuis plusieurs décennies et fournissent de nombreux outils de sélection de pixels basés sur des techniques d'interaction et algorithmes de traitements variés. Mais malgré les nombreuses déclinaisons de ces outils, ils ne permettent pas de sélectionner précisément et rapidement du texte manuscrit sur des images numérisées de part la complexité des formes à sélectionner. Les outils de sélection les plus élémentaires permettent de sélectionner des pixels par une forme géo-métrique (rectangle, ellipse, polygone ou forme libre). Cette approche peut s'avérer efficace lorsqu'il s'agit de sélectionner un élément plein. Dès lors qu'il s'agit de sélectionner un élément plus complexe, un mot manuscrit par exemple, cette tâche peut s'avérer fastidieuse, chronophage et imprécise. D'autres outils reposent sur une dimension sémantique avant tout, comme par exemple la Magic Wand ou Paint sélec-tion [2] qui se basent sur les informations que l'on peux extraire d'un ou plusieurs pixel (valeurs RGB, pixels voisins...). Bien que très efficaces dans de nombreuses situations, ces approches sont là encore peu adaptés à la sélection de texte dans des documents manuscrits. En effet sur de tels documents, les mots peuvent se chevaucher, et la couleur du texte et du fond varie d'une zone du document à une autre, mettant alors en défaut ce type d'approches. L'utilisateur sait par contre en général délimiter les formes du texte, grâce à sa perception adaptative des couleurs, ses connaissances sémantiques des mots, et plus généralement de l'écriture (la forme des lettres par exemple). L'outil que nous présentons est une combinaison d'outils pour la sélection progressive de texte dans des documents manuscrits qui exploite à la fois les données spatiales et sémantiques des pixels. L'idée directrice est de combiner au mieux les avantages des algorithmes de traitement et les connaissances des utilisateurs qui les paramètrent et les manipulent. Nous proposons en particulier une brosse dont l'utilisateur peut ajuster la taille et le seuil de sélection grâce au principe de manipulation directe. Cette brosse fournit des informations en feed-forward afin de montrer en avance à l'utilisateur les pixels qui seront sélectionnés, et ainsi ajuster le seuil efficacement. Cette sélection est déterminée par un calcul de la luminance relative entre chaque pixel de cette zone et le seuil